DoSA：点稀疏注意力无损剪枝加速长上下文索引器
🧭 LLM 稀疏注意力推理加速 ★ 深度解读
Dots Studio, Xiaohongshu Inc.
为有符号多哈希索引器构建可证上界，利用种子阈值无损筛除多数 key，避免全头打分，长上下文预填充最高快 2.74 倍
📌 工作参考价值（4 点）
- 在长用户行为序列/商品库的 LLM 检索或生成式推荐中，可借鉴“种子阈值+分数上界”的无损剪枝：先用少量头部或代理模型计算上界，只对可能进入 Top-K 的候选项算完整分，避免全量打分。特别适合有符号多目标融合打分，负头不能简单丢弃时，用激活频率支撑聚合保住下界紧度。
- 工程实现可复用：将剪枝与 GPU kernel 融合，规则 screening 用 Tensor Core，SIMT 做 bound 评估和候选 compact；refinement 阶段同组查询共享 key 加载，稀疏写回只写达到阈值的记录，明显降低 HBM 带宽。若自建长上下文检索/推荐打分服务，这套数据流可直接参考。
- 成本分析给了一个重要信号：上下文越长，选择 token 的索引器占比迅速上升（~1M 时 73%-90.8%），加速索引器比加速注意力本身收益更大。用 Amdahl 定律可提前估算优化收益，避免把力气花在低占比模块。
- 解码阶段利用时间相干性，用近期选中 key 的分数做阈值下界，压缩选择输入，这种“候选记忆 + 阈值预测”思路可迁移到实时推荐/搜索的候选生成与重排中，减少重复打分。
FlashVector：分层模型服务栈优化智能体
🧭 Agent 驱动的服务栈自动调优 ★ 深度解读
Stanford University · Unity Vector AI Team
将 LLM 驱动的 GPU kernel 优化范式推广到模型服务器、特征处理与运行时配置的全栈自动调优
📌 工作参考价值（4 点）
- 将服务栈各层抽象为统一的 Profile-Diagnose-Optimize-Verify 循环，每层只需提供领域化的 profiling 工具（GPU 用 Nsight，CPU 服务用 eBPF）和知识库，即可复用同一套 agent 框架优化 CUDA、C++、Python 等异构代码，避免为每个组件单独建系统。
- 优化验收必须通过生产流量回放 + 全栈负载测试，且收益超过测量噪声 floor（基线 ±6%，可重复采样收紧到 2.1%）；对浮点重排等改动设置预测输出偏差阈值，防止精度回退。这套验证机制可直接迁移到模型/服务的上线把关。
- 维护一个持续更新的优化知识库（业务逻辑、模型结构、组件架构、优化 cookbook），每次运行后只做 in-place refine 而不是累积全部历史，能有效控制上下文窗口增长、减少 LLM 幻觉，适合长期运行的优化 agent。
- 代码优化和参数搜索可以用同一 loop：在 SLO 约束下用真实请求回放搜索 batch size、实例数等配置，并通过 shadow canary 放量验证；模型每次重训或服务更新后自动触发新一轮，可以避免配置漂移导致的成本回升。
TileMaxSim：IO感知的GPU分块MaxSim打分与融合量化
🧭 多向量检索GPU加速 · IO-aware kernel
MIT-IBM Watson AI Lab
通过维度分块与融合PQ解压缩，将GPU上MaxSim峰值带宽利用率提升至80.2%，打分吞吐提升220倍
📌 工作参考价值（4 点）
- 搜索/推荐系统中若使用ColBERT等多向量模型做召回或排序，可将TileMaxSim作为即插即用的GPU算子，将候选评分延迟从百毫秒降至毫秒级，显著降低端到端延迟。
- 在实现自定义的打分/聚合CUDA kernel时，可借鉴其IO-aware SRAM分块策略：流式加载文档嵌入并在寄存器中累积最大值，避免实例化庞大的相似度矩阵，最大化带宽利用率。
- 融合PQ解压缩与scoring的思路可迁移至在线检索中压缩嵌入的快速还原计算，通过共享内存查找表减少HBM读取量，适用于存储压缩的电商商品或广告嵌入。
- 维度分块技术解决了嵌入维度超过共享内存容量的问题，可推广至高维推荐模型（如d>128）的打分加速，保持恒定吞吐。
FLASH-MAXSIM：面向晚交互评分的 IO 感知融合核
🧭 ColBERT/MaxSim 的 IO 感知核优化
IBM Research Israel
通过流式融合核避免物化完整相似度张量，大幅降低内存并加速 MaxSim 计算，保持精确排序
📌 工作参考价值（4 点）
- 线上服务直接替换 PyTorch 实现：在 ColBERT/ColPali 的检索或推荐召回中，用 Flash-MaxSim 计算 MaxSim，无需改变模型即可获得 3.9–4.7 倍加速与 16 倍推理内存节省，支持更大 batch 和文档量，降低线上延迟。
- 训练时反向传播优化：训练晚交互模型可使用其原子操作无关的梯度聚合，节省约 28 倍训练内存，允许在有限 GPU 资源下增大 batch size 或序列长度，稳定训练过程。
- INT8 量化推理：提供的 INT8×INT8 量化核可进一步压缩内存与带宽，适合对延迟敏感的电商搜索或推荐服务，且在 top-20 排序上完全精确。
- 融合归约设计思路可迁移：业务中涉及“点积→行/列最大→求和”类操作（如 attention 变体、多向量匹配），可借鉴其分块流式、在片上归约的策略，避免中间张量膨胀。
AgentKernelArena：面向泛化性的GPU内核优化代理基准测试
🧭 GPU内核优化代理评估基准
AMD
首个覆盖HIP/Triton/PyTorch-to-HIP的智能体GPU内核优化评估基准，引入未见配置泛化测试。
📌 工作参考价值（4 点）
- Agent迭代优化流程的量化评估：借鉴其编译、正确性、性能三道门控检查的设计，可为推荐系统中代码生成Agent（如特征工程脚本优化、数据处理pipeline生成）构建类似的闭环评测，确保输出代码在真实环境中可用且高效。
- 泛化测试避免过拟合：论文揭示从零生成的kernel容易硬编码特定输入形状，在未见配置下正确性大幅下降。在电商场景中，若用Agent生成模型训练或推理代码，应增加不同batch size、序列长度等配置的泛化测试，避免隐式过拟合。
- 隔离执行与集中评分：其模块化工作区隔离执行、集中打分的框架可复用于多Agent系统的性能基准测试，尤其适合评估代码优化类Agent的鲁棒性和速度提升。
- 对推荐场景的直接价值有限：工作聚焦底层GPU kernel优化，与业务层的生成式推荐、多智能体协作关联较弱，主要提供评估方法论参考。